Towards Robustness against Typographic Attack with Training-free Concept Localization
无需训练的语义概念定位抵御排版攻击
🧭 视觉语言模型鲁棒性 · 机制可解释性
University of Virginia
通过无训练机制解释定位并干预CLIP中偏重文本的注意力头，显著提升视觉模型抗排版攻击鲁棒性
📌 工作参考价值（4 点）
- 无训练的防御思路可直接复用到电商商品图片理解：商品图常叠加促销文字、logo 等，模型易被文字误导，借鉴本方法可通过定位并抑制视觉编码器中词汇偏置的注意力头，不改变模型参数提升对文字干扰的鲁棒性。
- 机制可解释性管线可成为多模态推荐系统的诊断工具：当视觉特征提取器在场景文本上表现异常时，可使用论文的采样归因方法快速定位问题 Circuit，指导针对性干预或微调策略的设计。
- 对 LVLM 的 VQA 抗攻击提升表明，该方法可增强对话式购物助手对用户上传含文字商品图的语义理解能力，避免因包装文字错误识别属性。
- 干预操作简单（仅调整少数注意力头的权重），工程成本低，可作为在线推理阶段的免训练后处理模块，适用于对延迟敏感的推荐系统。